Replacing Training with Memory: Listwise Selection for Text-to-SQL
用记忆替代训练:Text-to-SQL 的列表式选择
🧭 LLM 候选选择免微调 · Memory 检索
IPAI, Seoul National University · KAIST
免微调列表式选择器,用结构化记忆作为决策标准并多排列聚合缓解位置偏差,BIRD-dev 准确率提升 2.02 且 tokens 减 2.92x
📌 工作参考价值(3 点)
- 可借鉴其 structured memory bank:把自然语言到业务实体/操作/期望输出的映射事先蒸馏成可检索片段,作为候选排序的显式标准,避免对选择器微调;在电商 query 改写、广告文案候选选择中可构建 query→商品属性/类目意图/文案风格的 memory,推理时检索作为评分依据。
- 借鉴 多排列聚合 + 执行结果/pointwise 预筛 的推理成本优化:先用轻量打分或可执行性检查过滤多数候选,只对 top-k 做多顺序的 listwise 比较,再聚合排名,能降低 LLM 调用 tokens 和位置偏差。
- 位置偏差缓解可以做成推理时策略而非训练策略,兼容已有 LLM;在搜索推荐 Agent 的多个工具/候选结果重排序环节,可直接插入多排列投票逻辑,无需额外训练。